![arxiv：2408.12665v1 [cs.lg] 2024年8月17日](/simg/2/2ffae10d7816ea3460a7e086f6160bc5d3b2f4ed.webp)
机构名称：
¥ 1.0
在压缩的持续潜在空间中有效的音频表示对于生成音频建模和音乐信息检索（MIR）任务至关重要。但是，某些现有的音频自动编码器有局限性，例如多阶段训练程序，缓慢的迭代采样或低重建质量。我们介绍了Music2Latent，这是一种音频自动编码器，通过利用一致性模型来克服这些限制。MUSIC2LATENT在单一端到端的训练过程中将样品编码为压缩的连续延伸空间，同时实现高保真单步重建。关键的创新包括通过频率自我注意来调节各个级别的UPS采样编码器输出的一致性模型，使用频率自我注意力来捕获远距离频率依赖性，并采用频率学习的缩放量表来处理不同噪声水平上跨频率的变化价值分布。我们证明，Music2Latent在声音质量和重建精度方面的表现优于现有的连续音频编码器，同时使用其潜在表示在下游MIR任务上实现竞争性能。对我们的知识，这代表了训练端到端一致性自动编码器模型的首次成功尝试。[此链接]下可用的重量可用。1
arxiv：2408.12665v1 [cs.lg] 2024年8月17日
主要关键词
![arxiv：2408.12665v1 [cs.lg] 2024年8月17日PDF文件第1页](/bimg/b/b808bbad39215373e116f6838f073320d12f469d.webp)
![arxiv：2408.12665v1 [cs.lg] 2024年8月17日PDF文件第2页](/bimg/c/ce48b5b4171740bc4c57158f4731a79675d3d55a.webp)
![arxiv：2408.12665v1 [cs.lg] 2024年8月17日PDF文件第3页](/bimg/7/764e4df85d546fb332deaeb3e0df60ff4d8d0618.webp)
![arxiv：2408.12665v1 [cs.lg] 2024年8月17日PDF文件第4页](/bimg/8/81abc4797cef16b27c1a97a14277776cf6a50ff6.webp)
![arxiv：2408.12665v1 [cs.lg] 2024年8月17日PDF文件第5页](/bimg/3/3939313a6d5387be56faf7a206a81c13c7f0122b.webp)
相关文件推荐
![arxiv：2408.09284v1 [physics.optics] 2024年8月17日](/simg/7/7dfd89a9ae838b0250ca508bdbdeb0775a4b6917.webp)
![arxiv：2408.16219v1 [cs.cv] 2024年8月29日](/simg/0/0502b021f1893f24939ba12f4be822eae58da4bd.webp)
![arxiv：2408.07892v1 [cs.cy] 2024年8月15日](/simg/4/4d83e7ba1547a7117480db026f553e9e637562fd.webp)
![arxiv：2408.05689v1 [cond-mat.str-el] 2024年8月11日](/simg/1/1f82d30cb5a9477e2692037780db502e5e820423.webp)
![arxiv：2209.13905v2 [cond-mat.supr-con] 2024年8月17日](/simg/d/dd9549f5e1d67860a8a539a986efee4883419c35.webp)
![arxiv：2008.07190v1 [hep-ph] 2020年8月17日](/simg/e/ede7dd8269721345804d3a578b1588e545d0681b.webp)
![arxiv：2404.11027V1 [CS.AI] 2024年4月17日](/simg/0/06939e0fc684e004fd4b9403eb6b6eccf4469b3f.webp)
![arxiv：2310.19300v2 [Stat.ml] 2024年10月17日](/simg/7/75059ef4d85fd9c1b6caf88bb31a0f6376342259.webp)
![arxiv：2408.14909v2 [CS.CL] 2024年12月24日](/simg/c/cb17634eb62dfb255310cdc41075dc0f28bbcc56.webp)
![arxiv：2404.11270v1 [Physics.optics] 2024年4月17日](/simg/d/dcefa7a35e1512ccb4a4ec0600f3a0fff8bf5d56.webp)
![arxiv：2405.02288V2 [CS.CV] 2024年5月17日](/simg/a/ae87bc3287454a2fa534f8b83dd160f14afb0f16.webp)
![arxiv：2309.11256v2 [CS.CR] 2024年1月17日](/simg/2/2479c9ef8bca974217922d8cddfbaf0d151f9f65.webp)
![arxiv：2405.10893v1 [CS.CL] 2024年5月17日](/simg/4/42e6f359fd68e2e7208e84d4bf9093a4471bc7cd.webp)
